Algoritmo de explicación de anomalías en espacios mixtos categórico-continuos

[Resumen] En este proyecto se presenta un método de explicación para el algoritmo ADMNC (Anomaly Detector for Mixed Numerical and Categorical inputs) desarrollado en el grupo LIDIA (Laboratorio de Investigación y Desarrollo en Inteligencia Artificial) de la Facultad de Informática de A Coruña. Para el desarrollo del método de explicación se emplean los modelos de mezcla de gaussianas y de regresión logística inicialmente planteados sobre entornos mixtos categórico-continuos para entrenar un árbol de decisión que ayude a proporcionar una explicación pre-hoc sobre el modelo de datos normales, además de una explicación post-hoc en base a múltiples estimadores sobre aquellos patrones que ya han sido indicados como anomalía por el algoritmo. El objetivo principal por tanto es proporcionar una nueva capa de explicación que sea de utilidad al supervisor y que subsane uno de los problemas más conocidos sobre los algoritmos en Inteligencia Artificial, que es la falta de justificación y la opacidad existente en muchos de ellos sobre el proceso interno seguido.[Abstract] This project presents an explanation method for the algorithm ADMNC (Anomaly Detector for Mixed Numerical and Categorical inputs) developed by the LIDIA group (Laboratorio de Investigación y Desarrollo en Inteligencia Artificial) of the Computer Science Department, Faculty of A Coruña. Gaussian mixture models and logistic regression are used for this development under mixed categorical-continuous spaces for training decision trees to achieve a pre-hoc explanation of the normal data model, as well as a post-hoc explanation based on multiple estimators over patterns that had been already indicated as anomalies by the algorithm. The main objective is to provide a new explanation layer over this method that can be useful for a supervisor and can offset one of the most well-known problems of Artificial Intelligence algorithms, that is, the lack of justification and the opacity existing on the internal process followed.Traballo fin de grao (UDC.FIC). Enxeñaría informática. Curso 2018/201

Regression Tree Based Explanation for Anomaly Detection Algorithm

[Abstract] This work presents EADMNC (Explainable Anomaly Detection on Mixed Numerical and Categorical spaces), a novel approach to address explanation using an anomaly detection algorithm, ADMNC, which provides accurate detections on mixed numerical and categorical input spaces. Our improved algorithm leverages the formulation of the ADMNC model to offer pre-hoc explainability based on CART (Classification and Regression Trees). The explanation is presented as a segmentation of the input data into homogeneous groups that can be described with a few variables, offering supervisors novel information for justifications. To prove scalability and interpretability, we list experimental results on real-world large datasets focusing on network intrusion detection domain.This research was partially funded by European Union ERDF funds, Ministerio de Ciencia e Innovación grant number PID2019-109238GB-C22, Xunta de Galicia through the accreditation of Centro Singular de Investigación 2016-2020, Ref. ED431G/01 and Grupos de Referencia Competitiva, Ref. GRC2014/035Xunta de Galicia; ED431G/01Xunta de Galicia; GRC2014/03